数据资源 | 常用的数据网站及资源汇总
本文来源：综合整理自菜J学Python与连享会
Part1数据查询网站
1企业产生的用户数据
百度指数：http://index.baidu.com/
阿里指数：https://alizs.taobao.com/
TBI 腾讯浏览指数：http://tbi.tencent.com/
新浪微博指数：http://data.weibo.com/index
2数据平台购买数据
数据堂：http://www.datatang.com/about/about-us.html
国云数据市场：http://www.moojnn.com/data-market/
贵阳大数据交易所：http://trade.gbdex.com/trade.web/index.jsp
3政府/ 机构公开的数据
中华人民共和国国家统计局数据：http://data.stats.gov.cn/index.htm
世界银行公开数据：http://data.worldbank.org.cn/
联合国数据：http://data.un.org/
纳斯达克：http://www.nasdaq.com/zh
4数据管理咨询公司
麦肯锡：http://www.mckinsey.com.cn/
埃森哲：https://www.accenture.com/cn-zh/
艾瑞咨询：http://www.iresearch.com.cn/
5国内数据库
中国经济社会大数据研究平台：https://data.cnki.net
CEIC 经济数据库：https://www.ceicdata.com
国泰安 CSMAR 经济金融数据库：https://www.gtafe.com
锐思 RESSET 数据库：http://www.resset.com/
浙大卡特-企研中国涉农研究数据库：http://ccad.qiyandata.com
6国外数据库
彭博 (Bloomberg) 终端
WRDS 沃顿数据服务平台：https://wrds-web.wharton.upenn.edu/wrds/ 含有 CRSP，Compustat 等数据库
FRED 美联储经济数据：https://fred.stlouisfed.org/ 美国宏观经济时间序列数据
美联储数据库：https://www.federalreserve.gov/data.htm
联邦统计署：http://www.census.gov/
美国经济分析局 (BEA)：https://www.bea.gov/
美国财政部：https://home.treasury.gov/
美国商务部：https://data.commerce.gov/
BvD 系列数据库：https://www.bvdinfo.com/en-gb/ 含有 Bank Focus、Osiris、Orbis、Zephyr 等数据库
美国政府公开数据:https://www.data.gov/
这是美国政府公开数据的所在地，该站点包含了超过19万的数据点。这些数据集不同于气候、教育、能源、金融和更多领域的数据。
印度政府公开数据:https://data.gov.in/
这是印度政府公开数据的所在地，通过各种行业、气候、医疗保健等来寻找数据，你可以在这里找到一些灵感。根据你居住的国家的不同，你也可以从其他一些网站上浏览类似的网站。
World Bank：http://data.worldbank.org/
世界银行的开放数据。该平台提供 Open Data Catalog，世界发展指数，教育指数等几个工具。
RBI:https://rbi.org.in/Scripts/Statistics.aspx
印度储备银行提供的数据。这包括了货币市场操作、收支平衡、银行使用和一些产品的几个指标。
Part2大型数据集
AmazonWebService-datasets：https://aws.amazon.com/cn/datasets/
Amazon提供了一些大数据集，可以在他们的平台上使用，也可以在本地计算机上使用。您还可以通过EMR使用EC2和Hadoop来分析云中的数据。在亚马逊上流行的数据集包括完整的安然电子邮件数据集，Google Books n-gram，NASA NEX 数据集，百万歌曲数据集等。
Google datasets：https://cloud.google.com/bigquery/public-data/
Google 提供了一些数据集作为其 Big Query 工具的一部分。包括 GitHub 公共资料库的数据，Hacker News 的所有故事和评论
Youtube-labeled-Video-Dataset：https://research.google.com/youtube8m/
Part3预测建模与机器学习数据集
UC-Machine-Learning-Repository：https://archive.ics.uci.edu/ml/datasets.html
UCI机器学习库显然是最著名的数据存储库。如果您正在寻找与机器学习存储库相关的数据集，通常是首选的地方。这些数据集包括了各种各样的数据集，从像Iris和泰坦尼克这样的流行数据集到最近的贡献，比如空气质量和GPS轨迹。存储库包含超过350个与域名类似的数据集(分类/回归)。您可以使用这些过滤器来确定您需要的数据集。
Kaggle：https://www.kaggle.com/datasets
Kaggle提出了一个平台，人们可以贡献数据集，其他社区成员可以投票并运行内核/脚本。他们总共有超过350个数据集——有超过200个特征数据集。虽然一些最初的数据集通常出现在其他地方，但我在平台上看到了一些有趣的数据集，而不是在其他地方出现。与新的数据集一起，界面的另一个好处是，您可以在相同的界面上看到来自社区成员的脚本和问题。
Analytics-Vidhya：https://datahack.analyticsvidhya.com/contest/all/
您可以从我们的实践问题和黑客马拉松问题中参与和下载数据集。问题数据集基于真实的行业问题，并且相对较小，因为它们意味着2 - 7天的黑客马拉松。
Quandl：https://www.quandl.com/
Quandl 通过起网站、API 或一些工具的直接集成提供了不同来源的财务、经济和替代数据。他们的数据集分为开放和付费。所有开放数据集为免费，但高级数据集需要付费。通过搜索仍然可以在平台上找到优质数据集。例如，来自印度的证券交易所数据是免费的。
Past KDD Cups：http://www.kdd.org/kdd-cup
KDD Cup 是 ACM Special Interest Group 组织的年度数据挖掘和知识发现竞赛。
Part4图像分类数据集
The MNIST Database：http://yann.lecun.com/exdb/mnist/
最流行的图像识别数据集，使用手写数字。它包括6万个示例和1万个示例的测试集。这通常是第一个进行图像识别的数据集。
Chars74K：http://www.ee.surrey.ac.uk/CVSSP/demos/chars74k/
这里是下一阶段的进化，如果你已经通过了手写的数字。该数据集包括自然图像中的字符识别。数据集包含74,000个图像，因此数据集的名称。
Frontal Face Images：http://vasc.ri.cmu.edu//idb/html/face/frontal_images/index.html
如果你已经完成了前两个项目，并且能够识别数字和字符，这是图像识别中的下一个挑战级别——正面人脸图像。这些图像是由CMU & MIT收集的，排列在四个文件夹中。
ImageNet：http://image-net.org/
现在是时候构建一些通用的东西了。根据WordNet层次结构组织的图像数据库(目前仅为名词)。层次结构的每个节点都由数百个图像描述。目前，该集合平均每个节点有超过500个图像(而且还在增加)。
Part5文本分类数据集
Spam – Non Spam：http://www.esp.uem.es/jmgomez/smsspamcorpus/
区分短信是否为垃圾邮件是一个有趣的问题。你需要构建一个分类器将短信进行分类。
Twitter Sentiment Analysis：http://thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/
该数据集包含 1578627 个分类推文，每行被标记为1的积极情绪，0位负面情绪。数据依次基于 Kaggle 比赛和 Nick Sanders 的分析。
Movie Review Data：http://www.cs.cornell.edu/People/pabo/movie-review-data/
这个网站提供了一系列的电影评论文件，这些文件标注了他们的总体情绪极性(正面或负面)或主观评价(例如，“两个半明星”)和对其主观性地位(主观或客观)或极性的标签。
点击搜索你感兴趣的内容吧
往期推荐
数据Seminar
这里是大数据、分析技术与学术研究的三叉路口
推荐 | 青酱
欢迎扫描👇二维码添加关注